Năm 1951 Ngân hàng Quốc gia Việt Nam được thành lập, ông được cử làm Phó Tổng Giám đốc (5/1951). Năm 1952 ông lên làm Tổng Giám đốc thay ông Nguyễn Lương Bằng và giữ cương vị này đến tháng 1 năm 1963 (được thay bởi Tạ Hoàng Cơ).

Ông bắt tay xây dựng thành công ngành Ngân hàng lúc này chỉ mới là trứng nước. Ông ra tay kiến tạo, tổ chức, đặt nền móng vững chắc cho ngành Ngân hàng suốt 13 năm.[2], Ông hoạch định chính xác một chương trình hành động ở tầm vĩ mô, trước hết phải chăm lo đào tạo, bồi dưỡng, xây dựng đội ngũ cán bộ Ngân hàng các cấp, phải coi đây là nhân tố hàng đầu để vận hành có hiệu quả hệ thống bộ máy Ngân hàng đang còn rất mới mẻ.[3]

Để đáp ứng yêu cầu đó, ông đề nghị Chính phủ cho mở các khóa luận luyện cán bộ nghiệp vụ Ngân hàng ngay trong kháng chiến. Đến 1954, sau hòa bình lập lại, trong khi các ngành khác chưa thấy động tĩnh gì, tranh thủ thời cơ, Ông đã chủ trương chiêu mộ hàng ngàn học sinh phổ thông (cấp II, cấp III) trên khắp miền Bắc, trước hết từ các tỉnh khu IV, khu III, các vùng tự do thanh niên có điều kiện học tập, dựa vào dân, sử dụng đình chùa, nhà kho, mở gấp các lớp đào tạo ở Hà Nội, Hải Phòng, Bắc Ninh, Hà Đông…, với quan điểm phát hiện và trọng dụng nhân tài, ông khuyến khích phát triển các hình thức đào tạo tập trung, tại chức, tự học, những ai học giỏi, tận tụy công tác được xem xét thưởng lương, thưởng chức…, nhờ đó, việc học tập trong ngành Ngân hàng trở thành phong trào sôi động, Ngành nhanh chóng có được một đội ngũ cán bộ trẻ kịp cung ứng nhu cầu hoạt động của toàn Ngành.

Đồng thời với việc triển khai đào tạo cấp tốc nói trên, ông quan tâm tuyển chọn một số cán bộ, học sinh có đủ trình độ gửi đi đào tạo dài hạn ở các nước bạn. Cố giáo sư, tiến sĩ Trần Linh Sơn là một điển hình được ông cử đi Liên Xô, sau 7 năm học tập, năm 1957 về nước, là nhà khoa học kinh tế đầu tiên không chỉ của ngành Ngân hàng mà của cả miền Bắc XHCN, trở thành Phó Tổng giám đốc (Phó Thống đốc), là thầy giáo đầu đàn của ngành Ngân hàng. Trong số các cán bộ được ông tuyển chọn, đào tạo, bồi dưỡng, nhiều anh chị em sau này đã giữ các vị trí trọng trách của Ngành từ Trung ương đến địa phương, hình thành được đội ngũ cán bộ khoa học của ngành. Mặt khác, ông cũng hết sức chăm lo bồi dưỡng văn hóa, nghiệp vụ cho cán bộ và con em miền Nam tập kết, chuẩn bị đội ngũ cán bộ Ngân hàng cho miền Nam khi thống nhất đất nước.

Cùng với nhiệm vụ khẩn trương xây dựng hệ thống trụ sở kiên cố cho các chi nhánh Ngân hàng địa phương trên toàn miền Bắc, Ông có công lớn tìm và phát hiện được một vùng đất rộng lớn còn sình lầy, hoang sơ cạnh gò Đống Đa lịch sử, lúc bấy giờ thuộc ngoại thành Hà Nội, đã đưa ra quyết định sáng suốt, táo bạo xin phép Chính phủ xây dựng nơi đây thành cơ sở đào tạo cán bộ cho ngành Ngân hàng.

Theo đó, Chính phủ đã quyết định thành lập Trường Cao cấp nghiệp vụ Ngân hàng từ rất sớm, ngày 13/9/1961, tiền thân của Học viện Ngân hàng ngày nay. Việc Ông đặt tên trường "Cao cấp nghiệp vụ Ngân hàng" cũng là một biểu hiện ý tưởng sáng tạo, độc đáo, in rõ dấu ấn Lê Viết Lượng, bởi ngành Ngân hàng lúc bấy giờ, chưa thể đủ điều kiện mở trường Đại học, Cao đẳng, thậm chí cả Trung cấp chuyên nghiệp.

Ông đã đề ra chủ trương "Cải tiến công tác Ngân hàng’ thông qua việc tách tổ chức Ngân hàng ở các tỉnh và thành phố lớn, hình thành "Chi nhánh Trung tâm" và "Chi nhánh nghiệp vụ" riêng, tuy cùng hoạt động chung trong một cơ quan Ngân hàng. Thể hiện chủ trương này trong buổi sơ khai đó là: Tại mỗi ngôi nhà Ngân hàng 2 tầng của mỗi tỉnh, thành, "Chi nhánh Trung tâm" đã được tách ra, đóng ở tầng trên chuyên lo nhiệm vụ quản lý, thống kê tổng hợp tình hình, đề ra các chủ trương biện pháp nghiệp vụ, chương trình nghiệp vụ, chương trình kế hoạch công tác, được quan hệ trực tiếp với cấp trên là Ngân hàng Trung ương và các cấp lãnh đạo tỉnh, thành phố, tựa như cấp Chi nhánh NHNN tỉnh, thành phố hiện nay. Còn hình thức tổ chức "Chi nhánh nghiệp vụ" thì đóng trụ sở ở tầng dưới. "Chi nhánh nghiệp vụ" được phân công nhiệm vụ trực tiếp giao dịch mọi nghiệp vụ Ngân hàng đối với mọi khách hàng của mình, tựa như các NHTM hiện nay. Có thể nói ông là "cha đẻ" của mô hình Ngân hàng 2 cấp ở Việt Nam, lóe sáng lên qua một tư duy khoa học kinh tế thực sự và đầu óc nhạy cảm chính trị của nhà hoạt động cách mạng chuyên nghiệp một thời.

Ngay từ năm 1952, chỉ một năm sau ngày thành lập ngành, ông đã chỉ đạo thành lập tờ báo chuyên ngành - Tập san Ngân hàng (tiền thân của Tạp chí Ngân hàng thời nay) mà đến nay, 60 năm có ngành, hệ thống báo chí Ngân hàng bao gồm nhiều thế loại khác nhau đã và đang kế thừa và phát triển rộng khắp, theo sát quá trình phát triển lớn mạnh của Ngành.

Năm 1963 ông chuyển sang giữ chức Phó chủ nhiệm Ủy ban Kế hoạch nhà nước [4] (nay là Bộ Kế hoạch và Đầu tư) đến năm 1975 ông nghỉ hưu. Ông mất năm 1985.